针对实际监控视频下双人交互行为的兴趣点特征选取不理想，且聚类词典中冗余单词导致识别率不高的问题，提出一种基于改进时空兴趣点（STIP）特征的交互行为识别方法。首先，引入基于信息熵的不可跟踪性检测方法，对序列图像进行跟踪得到交互动作的前景运动区域，仅在此区域内提取时空兴趣点以提高兴趣点检测的准确性。其次采用3维尺度不变特性转换（3D-SIFT）描述子对检测得到的兴趣点进行表述，利用改进的模糊C均值聚类方法得到视觉词典，以提升词典的分布特性；在此基础上建立词袋模型，即将训练集样本向词典进行投影得到每帧图像的直方图统计特征表示。最后，采用帧帧最近邻分类方法进行双人交互动作识别。在UT-interaction数据库上进行测试，该算法得到了91.7%的正确识别率。实验结果表明，通过不可跟踪性检测得到的时空兴趣点的改进词袋算法可以较大程度提高交互行为识别的准确率，并且适用于动态背景下的双人交互行为识别。